Deep networks have produced significant gains for various visual recognition problems, leading to high impact academic and commercial applications. Recent work in deep networks highlighted that it is easy to generate images that humans would never classify as a particular object class, yet networks classify such images high confidence as that given class -deep network are easily fooled with images humans do not consider meaningful. The closed set nature of deep networks forces them to choose from one of the known classes leading to such artifacts. Recognition in the real world is open set, i.e. the recognition system should reject unknown/unseen classes at test time. We present a methodology to adapt deep networks for open set recognition, by introducing a new model layer, OpenMax, which estimates the probability of an input being from an unknown class. A key element of estimating the unknown probability is adapting Meta-Recognition concepts to the activation patterns in the penultimate layer of the network. Open-Max allows rejection of "fooling" and unrelated open set images presented to the system; OpenMax greatly reduces the number of obvious errors made by a deep network. We prove that the OpenMax concept provides bounded open space risk, thereby formally providing an open set recognition solution. We evaluate the resulting open set deep networks using pre-trained networks from the Caffe Model-zoo on ImageNet 2012 validation data, and thousands of fooling and open set images. The proposed OpenMax model significantly outperforms open set recognition accuracy of basic deep networks as well as deep networks with thresholding of SoftMax probabilities.

With the of advent rich classification models and high computational power visual recognition systems have found many operational applications. Recognition in the real world poses multiple challenges that are not apparent in controlled lab environments. The datasets are dynamic and novel categories must be continuously detected and then added. At prediction time, a trained system has to deal with myriad unseen categories. Operational systems require minimum down time, even to learn. To handle these operational issues, we present the problem of Open World recognition and formally define it. We prove that thresholding sums of monotonically decreasing functions of distances in linearly transformed feature space can balance "open space risk" and empirical risk. Our theory extends existing algorithms for open world recognition. We present a protocol for evaluation of open world recognition systems. We present the Nearest Non-Outlier (NNO) algorithm which evolves model efficiently, adding object categories incrementally while detecting outliers and managing open space risk. We perform experiments on the ImageNet dataset with 1.2M+ images to validate the effectiveness of our method on large scale visual recognition tasks. NNO consistently yields superior results on open world recognition.

Linear classifier probes are frequently utilized to better understand how neural networks function. Researchers have approached the problem of determining unit importance in neural networks by probing their learned, internal representations. Linear classifier probes identify highly selective units as the most important for network function. Whether or not a network actually relies on high selectivity units can be tested by removing them from the network using ablation. Surprisingly, when highly selective units are ablated they only produce small performance deficits, and even then only in some cases. In spite of the absence of ablation effects for selective neurons, linear decoding methods can be effectively used to interpret network function, leaving their effectiveness a mystery. To falsify the exclusive role of selectivity in network function and resolve this contradiction, we systematically ablate groups of units in subregions of activation space. Here, we find a weak relationship between neurons identified by probes and those identified by ablation. More specifically, we find that an interaction between selectivity and the average activity of the unit better predicts ablation performance deficits for groups of units in AlexNet, VGG16, MobileNetV2, and ResNet101. Linear decoders are likely somewhat effective because they overlap with those units that are causally important for network function. Interpretability methods could be improved by focusing on causally important units.

我们提出了IM2NERF，这是一个学习框架，该框架可以预测在野生中给出单个输入图像的连续神经对象表示，仅通过现成的识别方法进行分割输出而受到监督。构建神经辐射场的标准方法利用了多视图的一致性，需要对场景的许多校准视图，这一要求在野外学习大规模图像数据时无法满足。我们通过引入一个模型将输入图像编码到包含对象形状的代码，对象外观代码以及捕获对象图像的估计相机姿势的模型来迈出解决此缺点的一步。我们的模型条件在预测的对象表示上nerf，并使用卷渲染来从新视图中生成图像。我们将模型端到端训练大量输入图像。由于该模型仅配有单视图像，因此问题高度不足。因此，除了在合成的输入视图上使用重建损失外，我们还对新颖的视图使用辅助对手损失。此外，我们利用对象对称性和循环摄像头的姿势一致性。我们在Shapenet数据集上进行了广泛的定量和定性实验，并在开放图像数据集上进行了定性实验。我们表明，在所有情况下，IM2NERF都从野外的单视图像中实现了新视图合成的最新性能。

鉴于RCS在确定化学反应的进展中，识别反应坐标（RCS）是研究的活跃领域。反应坐标的选择通常是基于启发式知识。但是，选择的基本标准是坐标应明确捕获反应物和产物态。同样，坐标应该是最慢的，以便所有其他自由度都可以轻松地沿反应坐标平衡。同样，坐标应该是最慢的，以便所有其他自由度都可以轻松地沿反应坐标平衡。我们使用了一个基于能量的模型的正则稀疏自动编码器来发现一组至关重要的反应坐标。除了发现反应坐标外，我们的模型还预测了分子动力学（MD）轨迹的演变。我们表明，包括实施正则化的稀疏性有助于选择一组少量但重要的反应坐标集。我们使用了两个模型系统来证明我们的方法：丙氨酸二肽系统和prollavine和DNA系统，它们在水性环境中表现出proflavine插入到DNA小凹槽中。我们将MD轨迹建模为多元时间序列，我们的潜在变量模型执行了多步骤时间序列预测的任务。这个想法的灵感来自流行的稀疏编码方法 - 将每个输入样本表示为从一组代表性模式中获取的几个元素的线性组合。

医疗人工智能（AI）的最新进展已提供了可以达到临床专家水平绩效的系统。但是，当在与训练环境不同的临床环境中评估时，这种系统往往会证明次优的“分布式”性能。一种常见的缓解策略是使用特定地点数据为每个临床环境开发单独的系统[1]。但是，这很快变得不切实际，因为医疗数据很耗时，可以注释且昂贵[2]。因此，“数据有效概括”的问题给医学AI开发带来了持续的困难。尽管代表性学习的进展显示出希望，但并未对其好处进行严格的研究，特别是用于分布的设置。为了应对这些挑战，我们提出了RESEDIS，这是一种统一的代表学习策略，以提高医学成像AI的鲁棒性和数据效率。雷雷迪斯使用大规模监督转移学习与自我监督学习的通用组合，几乎不需要特定于任务的自定义。我们研究各种医学成像任务，并使用回顾性数据模拟三个现实的应用程序场景。 RESEDIS表现出明显改善的分布性能，而在强有力的基线上，诊断准确性相对相对提高了11.5％。更重要的是，我们的策略会导致对医学成像AI的强大数据有效的概括，并使用跨任务的1％至33％的重新培训数据匹配强有力的监督基线。这些结果表明，Repedis可以显着加速医学成像AI开发的生命周期，从而为医学成像AI提供了重要的一步，以产生广泛的影响。

受到控制障碍功能（CBF）在解决安全性方面的成功以及数据驱动技术建模功能的兴起的启发，我们提出了一种使用高斯流程（GPS）在线合成CBF的非参数方法。 CBF等数学结构通过先验设计候选功能来实现安全性。但是，设计这样的候选功能可能具有挑战性。这种设置的一个实际示例是在需要确定安全且可导航区域的灾难恢复方案中设计CBF。在这样的示例中，安全性边界未知，不能先验设计。在我们的方法中，我们使用安全样本或观察结果来在线构建CBF，通过在这些样品上具有灵活的GP，并称我们为高斯CBF的配方。除非参数外，例如分析性障碍性和稳健的不确定性估计，GP具有有利的特性。这允许通过合并方差估计来实现具有高安全性保证的后部组件，同时还计算封闭形式中相关的部分导数以实现安全控制。此外，我们方法的合成安全函数允许根据数据任意更改相应的安全集，从而允许非Convex安全集。我们通过证明对固定但任意的安全集和避免碰撞的安全性在线构建安全集的安全控制，从而在四极管上验证了我们的方法。最后，我们将高斯CBF与常规的CBF并列，在嘈杂状态下，以突出其灵活性和对噪声的鲁棒性。实验视频可以在：https：//youtu.be/hx6uokvcigk上看到。

凝视行为已被用作收集认知信息多年的一种方式。在本文中，我们讨论了凝视行为在解决自然语言处理（NLP）中解决不同任务的情况，而无需在测试时间录制它。这是因为凝视行为的收集是一种昂贵的任务，无论是时间和金钱。因此，在本文中，我们专注于对减轻在运行时录制凝视行为的需要的研究。我们还提到了多种语言的不同眼踪语言，目前可用，可用于自然语言处理。我们通过在领域教育中讨论应用程序来结束我们的论文 - 以及学习凝视行为如何有助于解决复杂词识别和自动论文分级的任务。

这项工作侧重于特定于域的加速器的有效敏捷设计方法。我们采用垂直开发堆栈的功能逐个功能增强，并将其应用于TVM / VTA推理加速器。我们已经增强了VTA设计空间，并启用了用于额外工作负载的端到端支持。这是通过增强VTA微架构和指令集架构（ISA）来实现的，以及通过增强TVM编译堆栈来支持各种VTA配置。 VTA TSIM实现（基于凿子）已通过ALU / GEMM执行单元的完全流水线版本增强。在TSIM中，内存宽度现在可以在8-64字节之间。对于支持较大的刮板，已经使场宽度更加灵活。已添加新的说明：元素 - WISE 8位乘法，支持深度卷积，并使用焊盘值的选择加载以支持最大池。还添加了对更多层和更好的双缓冲。完全管制的ALU / GEMM有助于显着帮助：4.9倍的循环较少，最小区域更改为在默认配置下运行RESET-18。可以实例化特征在于11.5倍的循环计数的配置，以12倍的循环计数更大的区域。显示了区域性能帕累托曲线上的许多点，展示了执行单元尺寸，内存接口宽度和刻痕尺寸的余额。最后，VTA现在能够运行MobileNet 1.0和所有层进行Resnet，包括先前禁用的池和完全连接的图层。 TVM / VTA架构始终在几分钟内以RTL呈现端到端工作量评估。通过我们的修改，它现在提供了更大的可行配置，具有广泛的成本与性能。所有提到的所有功能都可以在OpenSource叉中提供，而这些功能的子集已经上游。